นายกษิต ภิรมย์ เป็นบุตรชายของ พลเรือตรี สมภพ ภิรมย์ ศิลปินแห่งชาติ สาขาทัศนศิลป์ (สถาปัตยกรรม) อดีตอธิบดีกรมศิลปากร อดีตคณบดีคณะสถาปัตยกรรมศาสตร์ มหาวิทยาลัยศิลปากรและมหาวิทยาลัยศรีปทุม กับ นางจุนเจือ ภิรมย์ (สกุลเดิม "มุสิกะภุมมะ") เกิดเมื่อวันที่ 15 ธันวาคม พ.ศ. 2487 ได้สมรสกับ นางจินตนา ภิรมย์ (สกุลเดิม วัจนะพุกกะ) มีบุตรธิดาด้วยกัน 2 คน คือ นายโอม ภิรมย์ (ถึงแก่กรรมแล้ว) และ น.ส.แพร ภิรมย์[3] ผู้ออกแบบกำไลข้อมือ "Thai Together bracelets" ออกจำหน่ายที่สหรัฐอเมริกาเพื่อระดมเงินบริจาคช่วยเหลือผู้ประสบภัยสึนามิในประเทศไทย ผ่านกองทุน “The United States-Thailand Amity for Charity” ของสถานทูตไทย ณ กรุงวอชิงตัน ดี.ซี. สหรัฐอเมริกา[4]